تعیین روش بهینه شناسایی کارکرد افتراقی در سنجش انطباقی کامپیوتری

Authors

  • نورعلی فرخی دانشیار گروه سنجش و اندازه گیری دانشگاه علامه طباطبائی
Abstract:

زمینه: یکی از چالش‌های اساسی گذر از آزمون‌های مداد – کاغذی به انطباقی کامپیوتری عادلانه بودن است که ارزیابی آن در چارچوب کارکرد افتراقی ضرورتی اجتناب‌ناپذیر می‌باشد. هدف: هدف مطالعه حاضر بررسی کارکرد افتراقی، ارزیابی عوامل مداخله‌گر در میزان آشکارسازی و معرفی روش بهینه مطالعه کارکرد افتراقی در سنجش انطباقی کامپیوتری بود. روش: با توجه به مسئله پژوهش از روش تجربی استفاده شد. گردآوری داده‌ها و دستکاری متغیرها با استفاده از روش شبیه‌سازی صورت گرفت. پاسخ‌های‌ گروه نمونه 1000 نفری (گروه مرجع و کانونی با حجم یکسان 500 نفری) به بانک 55 سؤالی دوارزشی براساس مدل لجستیک سه‌پارامتری در 20 تکرار شبیه‬ سازی شد. 15 سؤال بانک از نظر نوع و اندازه کارکرد افتراقی دستکاری شدند و اثر آزمون براساس تفاوت میانگین توانایی گروه‬های مقایسه تعیین گردید. آزمون انطباقی کامپیوتری 30 سؤالی با نرم‌افزار Firestar اجرا شد. تحلیل کارکرد افتراقی با روش رگرسیون لجستیک و آزمون نسبت درستنمایی صورت گرفت و روش‌ها براساس توان و خطای نوع اول مقایسه شدند. یافته‌ها: میزان خطای نوع اول روش آزمون نسبت درستنمایی کم‌تر از رگرسیون لجستیک بود. توان هر دو روش متاثر از نوع، مقدار کارکرد افتراقی و اثر آزمون بود. روش آزمون نسبت درستنمایی در شناسایی کارکرد افتراقی یکنواخت در هر دو موقعیت اثر و بدون اثر نسبت به روش رگرسیون لجستیک توان بیشتری داشته است و با افزایش شدت کارکرد افتراقی توان نیز افزایش یافته است. در ارزیابی کارکرد افتراقی غیریکنواخت تفاوتی بین روش‌ها مشاهده نشد و هر دو روش توان کمی داشتند. نتیجه‌گیری: با توجه به توان و میزان خطای نوع اول، روش آزمون نسبت درستنمایی رویکرد مطلوب در بررسی کارکرد افتراقی یکنواخت است، در حالی که ارزیابی کارکرد افتراقی غیریکنواخت مستلزم مطالعات تکمیلی می‌باشد.

Upgrade to premium to download articles

Sign up to access the full text

Already have an account?login

similar resources

طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور

سنجش مهارت زبان انگلیسی در ارزیابی‌های خطیر به تعداد زیادی پرسش برای آزمون‌هایی به‌شیوه‌ مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون‌های سرنوشت‌ساز شرکت می‌کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به‌عنوان گزینه‌ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون‌های سنتی P&P که توالی گزینش پرسش‌ها در آن ثابت...

full text

طراحی خزانه‌های سؤال بهینه برای سنجش انطباقی کامپیوتری با در نظر گرفتن امنیت آزمون

سنجش انطباقی کامپیوتری به خزانه‌ سؤالی نیاز دارد که به ‌خوبی طراحی شده و برای ساخت آزمون‌های مجزا، تعداد مناسبی  سؤال‌ داشته باشد. همچنین شامل سؤال‌هایی باشد که از لحاظ محتوایی متعادل باشد و هزینه‌ ساخت آزمون را کاهش دهد. یکی از روش‌های طراحی خزانه‌ سؤال، روش رِکیس است، که در آن از روش مونت‌کارلو برای تعیین ویژگی‌های یک خزانه‌ سؤال بهینه استفاده می‌شود. در این پژوهش، از این روش برای طراحی خزانه‌...

full text

تلفیق رویکرد ریکیسی و رویکرد برنامه‌نویسی ریاضی در طراحی خزانه‌های سؤال بهینه برای سنجش انطباقی کامپیوتری

سنجش انطباقی کامپیوتری (CAT) شیوه‌ای از سنجش توانایی است که دقت برآورد توانایی را افزایش می‌دهد و بدون از دست دادن دقت اندازه‌گیری آزمون، طول آن را کاهش می‌دهد. با این وجود، سنجش انطباقی در صورتی خوب عمل می‌کند که، دارای خزانه سؤالی باشد که در آن تعداد کافی سؤال با کیفیت مناسب وجود داشته باشد. بسیاری از محققان خاطر نشان کردند که، برای ساخت خزانه سؤالی برای (CAT)، نه ‌تنها اندازه خزانه سؤال مهم ...

full text

تعیین مقایسه‌پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد-کاغذی

هدف مطالعه حاضر تعیین مقایسه‌پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روش‌های مختلف برآورد توانایی (بیشینه درست‌نمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمون‌های خطیر بود. جامعه پژوهش شامل تمامی شرکت‌کنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که...

full text

تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد-کاغذی

هدف مطالعه حاضر تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روش های مختلف برآورد توانایی (بیشینه درست نمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمون های خطیر بود. جامعه پژوهش شامل تمامی شرکت کنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که...

full text

سنجش انطباقی با رایانه

منطبق کردن دشواری سئوال با سطح ویژگی آزمودنی، کارآترین روش اندازه‌گیری یک ویژگی است. برای این منظور به آزمودنی‌ها، سئوال‌هایی ارائه می‌شود که اطلاعات دقیقی در بارة میزان و سطح ویژگی آنها، بدست آید. این موضوع اندیشة زیربنایی سنجش انطباقی است و از یافته‌ها و نتایج مدل‌های نظریة سئوال- پاسخ، در تحلیل سئوال‌های آزمون، متأثر است. سنجش انطباقی از نتایج طبیعی تفکر به شیوة بیز در برآورد و بررسی تابع آگ...

full text

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}


Journal title

volume 9  issue 33

pages  23- 51

publication date 2018-10-23

By following a journal you will be notified via email when a new issue of this journal is published.

Hosted on Doprax cloud platform doprax.com

copyright © 2015-2023